压缩预训练的深度神经网络的任务吸引了研究社区的广泛兴趣,因为它在使从业人员摆脱数据访问要求方面的巨大好处。在该域中,低级别的近似是一种有前途的方法,但是现有的解决方案被认为是限制的设计选择,并且未能有效地探索设计空间,从而导致严重的准确性降解和有限的压缩比达到了有限。为了解决上述局限性,这项工作提出了SVD-NAS框架,该框架将低级近似和神经体系结构搜索的域结合在一起。 SVD-NAS通用并扩展了以前作品的设计选择,通过引入低级别的建筑空间LR空间,这是一个更细粒度的低级别近似设计空间。之后,这项工作提出了基于梯度的搜索,以有效地穿越LR空间。对可能的设计选择的更精细,更彻底的探索导致了CNN模型的参数,失败和潜伏期的提高精度以及降低。结果表明,在数据限制问题设置下,SVD-NAS的成像网上的精度比最新方法高2.06-12.85pp。 SVD-NAS在https://github.com/yu-zhewen/svd-nas上开源。
translated by 谷歌翻译